报错总结

hive报错java.io.IOException: Could not find status of job

• 原因：作业名较长导致任务无法写入到historyserver中，而一般在sql中存在较长的中文时，容易产生这种问题
• 解决：set hive.jobname.length=10;
• 来源：https://blog.chttp://rm9.hadoop.data.sina.com.cn:9008/cluster?dn.net/zhoudetiankong/article/details/52126760

hive报错Container killed on request. Exit code is 143

• 原因：内存溢出。原因包含container内存不足，container所在的JVMs的资源不足
• 解决：
  • set mapreduce.map.memory.mb 越大，每个map分配的内存越大
  • set mapreduce.map.java.opts
  • set mapreduce.reduce.memory.mb
  • set mapreduce.reduce.java.opts
• 来源：http://wzktravel.github.io/2016/08/22/hive-join-problem/

hive报错FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTas

• 原因：可能存在两种原因
  • 开启本地模式，即针对小数据将hdfs数据拉到本地计算会导致资源不足
  • 默认在大表join小表的时候，采取了map join的模式，将较小的表复制到所有节点，从而导致内存溢出
• 解决：
  • set hive.exec.mode.local.auto=false 关闭本地模式
  • set hive.auto.convert.join=false 关闭mapjoin模式
• 来源：http://vase.iteye.com/blog/209032

hive报错FAILED: FAILED: Execution Error, return code 20001 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

• 原因：调用python的udf时，python脚本出错
• 解决：
  • 检查下hive的日志排查原因
• 来源：https://www.cnblogs.com/Joe-T/p/4643452.htm

hadoop报错：java.io.IOException: No space left on device

• 原因：磁盘空间不足
• 解决